Binocular Fixation by Tracking of Homogenous Colour Regions

This thesis presents a binocular visual system constructed for fixation of objects of homogenous colour. The purpose of this approach to fixation is to evaluate the use of colour cues, which are well-defined in homogenously coloured regions, where earlier used techniques such as optical flow and correlation are ill-posed. Two colour-based tracking methods are developed and implemented, one probabilistic based on Bayesian probabilities and adaptive Gaussian mixtures, and one clustering algorithm based on the kmeans clustering idea and colour cluster flow. The stereo integration is based on a cyclopean probability map and can handle occlusions and separate same-coloured objects at different depths. Neither the tracking nor the stereo integration relies on explicit matching, which makes the system more robust. The resulting fixation system runs at about 10 Hz and can fixate homogenously coloured objects in most situations. The situations where the system tends to loose fixation is when similarly coloured objects reside close to the target and are not substantially separated in depth. These problems are associated with the inability to establish the boundary of the target, which suggests that colour-based cues should be complemented by edgebased cues. Binokulär fixering genom följning av regioner med homogen färg Sammanfattning I detta examensarbete konstrueras ett seende system som kan fixera objekt som är homogent färgade. Syftet med denna ansats är att utvärdera användningen av färgledtrådar, vilka är väldefinierade på enhetligt färgade ytor där tidigare beprövade tekniker som korrelation och optiskt flöde inte är väldefinierade. Två färgbaserade följningsalgoritmer har utvecklats och implementerats, varav en bygger på bayesianska sannolikheter och adaptiva gaussiska mixturer och den andra spårar färgkluster som skapats med en modifierad k-meansalgoritm. Stereointegrationen är baserad på en cyklopisk sannolikhetskarta och kan både hantera objekt som är dolda i en kamera och separera objekt som befinner sig på olika djup. Varken följning eller stereointegration bygger på explicit matchning vilket gör systemet mer robust. Det resulterande systemet exekverar i ca 10 Hz och kan fixera enfärgade objekt i de flesta situationer. De situationer där systemet tenderar att tappa fixeringen är främst när objekt med liknande färg befinner sig nära det fixerade objektet och dessa inte är tillräckligt separerade i djup. Dessa problem beror till stor del på att systemet inte kan avgöra var målobjektets kanter befinner sig, vilket visar på att färgbaserade ledtrådar bör kompletteras av kantbaserade ledtrådar. Foreword This thesis is the report from a master’s project in computer science at the School of Engineering Physics at the Royal Institute of Technology (KTH) in Stockholm, Sweden. The project has been performed at the center for Computer Vision and Active Perception Laboratory (CVAP), a research group within the Department of Numerical Analysis and Computer Science (NADA) at the Royal Institute of Technology. Acknowledgements I would like to thank my supervisor Mårten Björkman for helping me find and carry through this interesting master’s project. I would also like to thank Mårten for the patience shown in times when I could not put as much time into the project as I should have.